完整数据团队Tips（关于BI系统、数据仓库、数据挖掘和数据实验的27条建议）

参考The Strong Data Science Audit: How does your organization's data strategy stack up?一文

分析和仪表盘

1. 使用第三方获取用户行为的工具？
   使用Google Analytics、Segment、Heap之类的工具。

2. 有没有明确的用户行为定义，还是说只有PV？
   查看PV是了解用户在做什么的最快方法，但是还有其他更重要的事。如果以后考虑到要升级网站或者APP，那么最好的方法是将PV转化成定义好的并且清晰的事件，例如注册、购买等等。

3. 是否会查看单个用户维度的行为记录，还是只是看整合的指标？
   整合统计只能让你鸟瞰你的数据，对评估运营状况有利。但是更加有效的应该是查看每个用户历时状态下的行为。这对于开发预测用户模型和优化非常有利。

4. 能不能监测用户在每一个app和web产品上的操作？
   对用户的优化最好建立在所有平台上。

5. 是否有KPI（Key Performance Indicator，关键表现指标）？
   将你的数据转化成KPI（清晰、有意义的指标，并且保障这些指标与你们公司的运营目标挂钩），这样有助于将数据更容易转化为行动。很多公司尝试产生和储存非常多的数据，然后将他们递交给需要问题答案的业务部门。但好的公司是需要知道如何讲数据转化成简单的KPI的。

6. 是否每日跟踪你的KPI，还是通过一个工具，比如自动邮件或者仪表盘？
   通过数据库或者表格并不是一个有效的沟通方式。现在有很多多搭建dashboard的方案，比如Metabase、Superset或者收费方案Periscope或Chartio。

7. 经理是否可以客制化他们的数据试图或者仪表盘？
   对小公司而言，展示一个仪表盘还OK。但是随着公司的发证，不同的股东或者运营者想看到的是不同的数据试图。因此，最好的方法是让数据为每一个人提供服务，并且很好地客制化。

数据管道操作和数据仓库

1. 有人需要通过SQL获取你的数据吗？
   除了漂亮的可视化和摘要，需要直接地获取你数据的工具，特别是你想让你的模型和机器学习可以更好地整合到公司业务中。

2. 是否使用数据仓库？
   整合所有数据可以很方便地帮助之后的应用或者数据提供者停止服务。

3. 是否储存所有的用户数据（即使暂时不用到它们）？
   有谁会知道现在的数据以后没有用呢，虽然小数据也往往起到很大用处。

4. 是否有备份和回复措施？
   这是显然的。

5. 数据仓库是否是云服务可扩展的？
   这对成长期用户非常关键，云服务往往也能提供很好地可扩展性。

6. 是否专人监控数据仓库是否健康？
   你也可以向外部团队求助。

7. 是否可以自动检测数据仓库写入中的失误？
   好的系统应该自动告诉你这些写入问题。

8. 你的数据仓库系统是否能承受现在100倍的用户？
   搭建地系统不仅为了解决现在的问题，而且应该还包括未来的数据。

机器学习、预测和人工智能

1. 是否用现在一直的因子（比如用户人口特征和经验）去预测收入？
   必须用大量的因此探索公司业务中的各个环节的因果关系。

2. 是否使用机器学习在你的产品中？
   机器学习可以优化销售、管理、UX等各个领域。在小公司中，这意味着可以将小公司转变为更大公司的可能。

3. 是否使用灵活的预测模型预测用户行为或者产出？

4. 是否用预测模型来改善用户体验？

5. 如果在电商平台，是否能用个性化推荐来保证用户的投入？

实验和优化

1. 是否执行一些测试实验？
   讲决策实验化是一个现代数据驱动组织发展的关键。

2. 是否使用实验优化公司运营和沟通？

3. 是否为实验提供了用以评估的KPI？

4. 是否有一个方法可以实现自动化部署和监控正在进行的实验？

5. 是否有合适统计验证方法来评估实验结果（而不是肉眼判断）？

6. 是不是在执行实验前与训练有素的统计学家或者实验数据科学家沟通过，确保实验有统计、推理的说服力？

7. 是否有平台可以储存或者分享研究结果？
   一个好的推荐是Airbnb最新开源的工具knowledge repo